2024年7月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB

2024年7月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB

Clock Icon2024.08.04

2024年7月にリリースされたSnowflakeの新機能・変更点のまとめ記事になります。

※注意事項:本記事ではすべての情報についての記述はせず、特筆すべきだと感じた情報だけピックしております。基本的には以下の情報を参考にしておりますので、全ての最新情報を確認したい場合は下記のURLからご確認ください。

July 30, 2024 — Snowsight Release Notes

https://docs.snowflake.com/en/release-notes/2024/ui/2024-07-30

Cortex Fine-tuning –— Preview

Snowsight から大規模言語モデル(LLM)を微調整できる Cortex Fine-tuning が以下のリージョンでパブリックプレビューとなりました。

  • AWS US West 2 (Oregon)
  • AWS US East 1 (N. Virginia)
  • AWS Europe Central 1 (Frankfurt)

ファインチューニングされたモデルは、COMPLETE 関数から呼び出すことが可能です。
詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-cortex/cortex-finetuning

July 29, 2024 — Snowsight Release Notes

https://docs.snowflake.com/en/release-notes/2024/ui/2024-07-29-wh

Default warehouse for Notebooks workloads — Public Preview

SYSTEM$STREAMLIT_NOTEBOOK_WH という名称の Notebook を実行するための Snowflake 管理のウェアハウスが各アカウントにプロビジョニングされることが発表されました。このウェアハウスは、Notebook ジョブの実行にのみ使用されるため、リソースの断片化を減少させ、効率的なリソースの割り当ての実現が期待できます。

デフォルトでは、このウェアハウスに対する USAGE 権限は PUBLIC ロールに付与されます。

https://docs.snowflake.com/en/user-guide/warehouses-overview#warehouse-usage-in-sessions

July 29-August 01, 2024 — 8.28 Release Notes

https://docs.snowflake.com/en/release-notes/2024/8_28

Data Quality and data metric functions (DMFs) — General Availability

Data Quality and data metric functions が一般提供となりました。これらの機能により、テーブルデータの品質調査やその定期的なチェックが可能となります。

DMF には、テーブルカラムのデータ鮮度、重複、NULL やユニーク数を返す事前定義済みの システムDMF や正規表現等を使用した独自のロジックを含む カスタムDMF を作成し使用できます。

Iceberg tables: Support for Polaris Catalog — Preview

Snowflake 管理の Iceberg Table で Polaris Catalog のサポートがパブリックプレビューとなりました。
Polaris Catalog は Snowflake Summit 2024 で発表された Apache Iceberg 向けのオープンソースカタログ実装です。
Iceberg 自体、オープンであるにもかかわらず Iceberg Catalog と Compute Engine との間で相互依存するために制約があることが課題となっていました。Polaris Catalog は Iceberg のオープンソースである REST プロトコルを使用することで、Apache Flink、Apache Spark、Dremio、Python、Trino などの Iceberg REST API をサポートする任意のエンジンからユーザーがデータにアクセスできるオープンスタンダードを提供し、ベンダーロックインに伴う潜在的なリスクの軽減が期待されます。

このリリースで Polaris カタログ統合を使用することができるようになり、Snowflake を使用して Polaris Catalog 内のテーブルにクエリしたり、Snowflake 管理の Iceberg テーブルを Polaris Catalog と同期することが可能となります。
詳細は以下をご参照ください。

https://other-docs.snowflake.com/en/polaris/overview

https://docs.snowflake.com/en/user-guide/tables-iceberg-polaris-catalog

July 25, 2024 — New AI21 model available in Snowflake Cortex AI

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-25-new-llm-model-jamba

AI21 Labs の大規模言語モデルであるjamba-instruct が Snowflake Cortex AI で利用可能になりました。利用可能な Cortex LLM 関数・リージョンは以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-cortex/llm-functions

July 25, 2024 — Cortex Search — Preview

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-25-cortex-search-preview

LLM を活用した検索拡張生成(RAG)を簡単に構築できる機能である Cortex Search がパブリックプレビューとなりました。
現時点では以下のリージョンで利用可能です。

  • AWS US West 2 (Oregon)
  • AWS US East 1 (N. Virginia)
  • AWS Europe Central 1 (Frankfurt)
  • Azure East US 2 (Virginia)
  • Azure West Europe (Netherlands)

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-cortex/cortex-search/cortex-search-overview#overview

以下でも本機能について紹介されていますので、ぜひご覧ください。
https://dev.classmethod.jp/articles/snowflake-try-cortex-search/

July 24, 2024 — Cortex Guard for Snowflake Cortex AI — General Availability

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-24-cortex-llm-updates

COMPLETE 関数による出力がアプリケーションに返される前に言語モデルの応答を評価することで暴力犯罪、憎悪、性的コンテンツ、自傷行為などに関連する可能性のある言語モデルの応答が自動的にフィルタリングされる Cortex Guard が一般提供となりました。

Cortex Guard は現在、Meta の Llama Guard 2 を使用して構築されています。以下の記事でこの機能の動作が具体的な例とあわせて解説されていますので、あわせてご参照ください。

https://www.snowflake.com/blog/snowflake-cortex-ai-cortex-guard-llm-safeguards/?lang=ja

July 24, 2024 — Document AI release notes

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-24-document-ai

Document AI model build から、トレーニングに使用されなかったドキュメントを削除できるようになりました。
詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-cortex/document-ai/prepare-model-build#label-document-ai-delete-documents

July 23, 2024 — New Meta AI models available in Snowflake Cortex AI

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-23-new-llm-models

Meta 社の LLM である Llama 3.1 コレクションファミリー(llama3.1–8b ,llama3.1–70b,llama3.1–405b)が Snowflake Cortex AI で利用可能になりました。モデルの概要については以下に詳しく記載があります。

https://www.snowflake.com/blog/meta-llama-enterprise-apps-snowflake-cortex-ai/?lang=ja

こちらについても利用可能な Cortex LLM 関数・リージョンは以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-cortex/llm-functions

July 22-25, 2024 — 8.27 Release Notes (with behavior changes)

https://docs.snowflake.com/en/release-notes/2024/8_27

Support for sending webhook notifications to Slack, Microsoft Teams, and PagerDuty

以下のシステムに対する Webhook 通知がサポートされました。

  • Slack
  • Microsoft Teams
  • PagerDuty

通知統合作成時にTYPE = WEBHOOK としWEBHOOK_URL を指定することで Webhook 用の通知統合を作成することができます。

https://docs.snowflake.com/en/sql-reference/sql/create-notification-integration-webhooks

また SANITIZE_WEBHOOK_CONTENT 関数と SYSTEM$SEND_SNOWFLAKE_NOTIFICATION ストアド プロシージャを組み合わせることで、サニタイズされた通知の送信が可能となります。

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/notifications/webhook-notifications#creating-a-secret-for-a-webhook-url

Triggered tasks — General availability

定義されたストリームに新しいデータがある場合にのみタスクを実行できる Triggered task が一般提供となりました。ストリームにデータがあり、タスクの実行をトリガーするまでコンピューティング リソースを使用しないためコストも抑えられます。
詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/tasks-intro#label-tasks-triggered

GET_DDL function: Support for warehouses

指定されたオブジェクトを再作成するために使用できる DDL ステートメントを返す GET_DDL 関数がウェアハウスに対しても使用できるようになりました。

以下のように使用することで DDL 文を取得できます。

SELECT GET_DDL('WAREHOUSE', '<ウェアハウス名>');

出力は以下のようになり、作成時に指定していないパラメータがある場合でもデフォルト値が返されます。

create or replace warehouse CORTEX_WH
with
	warehouse_type='STANDARD'
	warehouse_size='Medium'
	max_cluster_count=1
	min_cluster_count=1
	scaling_policy=STANDARD
	auto_suspend=60
	auto_resume=TRUE
	initially_suspended=FALSE
	enable_query_acceleration=FALSE
	query_acceleration_max_scale_factor=8
	max_concurrency_level=8
	statement_queued_timeout_in_seconds=0
	statement_timeout_in_seconds=172800
;

Custom Data Classification — General availability

ユーザー側でデータの値やカラム名のパターンに応じて正規表現での分類が可能なカスタム分類が一般提供となりました。
以下の記事では、カスタム分類の実際の手順がわかりやすく紹介されていますので、あわせてご参照ください。

https://medium.com/snowflake/announcing-public-preview-of-custom-classification-and-new-sql-interfaces-8602ea89d588

Snowflake における分類機能については以下で詳しく紹介されていますので、こちらもご参照ください。

https://dev.classmethod.jp/articles/snowflake-try-classification/

Data Classification of tables in a schema with Snowsight — General availability

Snowsight 上から分類を実行できる機能が一般提供となりました。

Snowsight 上から分類を行う際は「Data > Databases」から任意のスキーマを選択しメニューの「Classify and Tag Sensitive Data」をクリックします。

Untitled

分類対象のテーブルと自動タグ付け、カスタム分類子を含めるかを選択可能です。

Untitled 1

分類が完了するとテーブルカラムごとに推奨されるタグを確認できるので、必要に応じて修正を行い、分類を完了します。自動タグ付けを有効化していた場合、ここで分類されたタグが自動的に付与されます。

Untitled 2

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/classify-using#using-sf-web-interface-to-classify-tables-in-a-schema

July 19, 2024 — CORTEX_FUNCTIONS_USAGE_HISTORY view — General Availability

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-19-cortex-functions-usage-history

COMPLETE や TRANSLATE などのCortex 関数 の使用履歴や履歴ごとに請求されるトークンやトークンクレジットを確認できる CORTEX_FUNCTIONS_USAGE_HISTORY ビュー が利用できるようになりました。このビューでは、過去 365 日間(1 年間)のアカウントの最新のクレジット使用状況を以下のように確認できます。

Untitled 3

現時点の注意点として以下があります。

  • 最近追加されたモデルを使用する関数の使用状況情報が含まれない場合があります
  • 新しいモデルがこのビューに含まれるまでには、最大 2 週間かかる場合があります

July 17, 2024 — Snowsight Release Notes

https://docs.snowflake.com/en/release-notes/2024/ui/2024-07-17

Network rules and network policies –— Generally available

Snowsight 上からネットワークポリシーとネットワークルールを作成できる機能が一般提供となりました。Snowsight 上からネットワークポリシーを定義する場合は、ネットワークルールの使用が必須となります。
それぞれの Snowsight 上からの手順は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/network-policies#create-a-network-rule

https://docs.snowflake.com/en/user-guide/network-policies#create-a-network-policy

July 15, 2024 — Snowflake Copilot — Generally available

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-15-snowflake-copilot-ga

LLM を利用したアシスタントである Snowflake Copilot が以下の一部リージョンで一般提供となりました。

  • AWS us-east-1
  • AWS us-west-2
  • AWS eu-central-1

Snowflake Copilot の使用方法については以下をご参照ください。

https://docs.snowflake.com/en/user-guide/snowflake-copilot

July 15-17, 2024 — 8.26 Release Notes

https://docs.snowflake.com/en/release-notes/2024/8_26

Estimate the cost of Automatic Clustering — Preview

テーブルに対する自動クラスタリングのコストを見積もる新しいシステム関数として SYSTEM$ESTIMATE_AUTOMATIC_CLUSTERING_COSTS の利用がパブリックプレビューとなりました。

以下は公式ドキュメント記載のコードを引用したものですが、テーブルとクラスタリングキーとして使用したいカラムを指定することでその有効化や維持にかかるコストを見積ることが可能です。

SELECT SYSTEM$ESTIMATE_AUTOMATIC_CLUSTERING_COSTS('myTable', '(tenantId)');
{
  "reportTime": "Fri, 12 Jul 2024 01:06:18 GMT",
  "clusteringKey": "LINEAR(tenantId)",
  "initial": {
    "unit": "Credits",
    "value": 98.197987412,
    "comment": "Total upper bound of one time cost"
  },
  "maintenance": {
    "unit": "Credits",
    "value": 10.0,
    "comment": "Daily maintenance cost estimate provided based on DML history from the past 7 day(s)."
  }
}

New TYPE property for USER —— General availability

ユーザーの新しいプロパティとしてTYPEの指定が一般提供となりました。

これにより、通常のユーザーからの利用を想定したものやサービスアカウントとしての使用を想定するユーザーを区別することが可能となります。タイプとしてSERVICE を設定するとそのユーザーに対するパスワード設定も不可となり、より安全性を高めることにつながります。

詳細は以下をご参照ください。

https://dev.classmethod.jp/articles/snowflake-user-type-property/

https://docs.snowflake.com/en/sql-reference/sql/create-user#label-user-type-property

July 11, 2024 — Snowflake connectors

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-11

アカウント内で使用できる以下のコネクタがパブリックプレビューとなりました。

  • Snowflake Connector for PostgreSQL
  • Snowflake Connector for MySQL

コネクタは Snowflake ネイティブアプリとして提供されています。これによりそれぞれの RDBMS からのデータロードが可能となります。アカウントへのコネクタのインストール後は、構成のためにはエージェントを含む Docker コンテナの設定、実行が必要です。

チュートリアルやデモ動画も公開されているので、こちらもご覧ください。

https://www.youtube.com/watch?v=WK0f_-qNVjk

https://other-docs.snowflake.com/en/connectors/tutorials/dbtutorial#introduction

July 03, 2024 — External network access in Streamlit in Snowflake –— General Availability

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-03-sis

Streamlit in Snowflake からの外部ネットワークアクセスの使用が一般提供となりました。

以下のように Streamlit アプリが外部アクセス統合を使用できるようにEXTERNAL_ACCESS_INTEGRATIONS プロパティに統合オブジェクトを指定することで、Streamlit アプリコードから、外部 API を呼び出せます。

--CREATE STREAMLITコマンド実行時の指定も可能
ALTER STREAMLIT streamlit_db.streamlit_schema.streamlit_app
  SET EXTERNAL_ACCESS_INTEGRATIONS = (openai_access_int)
  SECRETS = ('my_openai_key' = streamlit_db.streamlit_schema.openai_key);

詳細は以下をご参照ください。

https://docs.snowflake.com/en/developer-guide/streamlit/additional-features#external-network-access-in-sis

July 03, 2024 — Data pipelines: Support for Iceberg tables with dynamic tables and streams –— Preview

https://docs.snowflake.com/en/release-notes/2024/other/2024-07-03-dynamic-iceberg-tables

Snowflake 管理の Iceberg Table を使用した Dynamic Table 向けの以下の 2 つの機能がパブリックプレビューとなりました。

  • Snowflake 管理の Iceberg Table をソースとする Dynamic Table の作成
  • Dynamic Iceberg Table の作成
    • CREATE DYNAMIC ICEBERG TABLE を使用することでクエリ結果を Snowflake 管理の Iceberg テーブルとして保存できます

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/dynamic-tables-create-iceberg#create-dynamic-tables-that-read-from-iceberg-tables

July 02, 2024 — Snowsight Release Notes

https://docs.snowflake.com/en/release-notes/2024/ui/2024-07-02

Snowflake Notebooks external access —– Preview

Snowflake Notebook からの外部ネットワークアクセスの使用がパブリックプレビューとなりました。外部アクセス統合を作成後、Notebook の設定から統合オブジェクトを指定することで有効化可能です。

Untitled 4

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/ui-snowsight/notebooks-external-access

July 01-03, 2024 — 8.24 Release Notes

https://docs.snowflake.com/en/release-notes/2024/8_24

Trust Center: CIS Benchmarks scanner package — General availability

Snowflake Trust Center で使用できる CIS ベンチマーク スキャナー パッケージが一般提供となりました。Snowflake Trust Center とこのスキャナーパッケージについては以下をご参照ください。

https://dev.classmethod.jp/articles/snowflake-trust-center-pupr-try-snowflakedb/

Authentication policies: New multi-factor authentication parameters

認証ポリシーで MFA に関するパラメータを新たに指定できるようになりました。

  • MFA_AUTHENTICATION_METHODS
    • SAMLPASSWORD のいずれかまたは両方を指定可能で、ここでリストされた認証方法でのログイン時に多要素認証 (MFA) を強制することができます
  • MFA_ENROLLMENT
    • REQUIRED またはOPTIONAL を設定可能でREQUIRED とした場合、認証ポリシーの適用対象となるユーザーは MFA への登録が強制されます

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/authentication-policies#label-authentication-policy-hardening-authentication

Hybrid tables: Changes to capacity quotas — Preview

Hybrid Table のストレージとリクエストに対するデフォルトの容量制限がデータベースレベルで適用されるようになり、同じアカウント内の異なるデータベースが個別に制限を受けるようになります。また、1つの Snowflake アカウント内で Hybrid Table を含むことができるデータベースの数にも新しい制限が導入されました。
詳細は以下をご確認ください。

https://docs.snowflake.com/en/user-guide/tables-hybrid-limitations#label-ht-quotas-throttling

July 01, 2024 — Snowsight Release Notes

https://docs.snowflake.com/en/release-notes/2024/ui/2024-07-01

New homepage for Snowsight —– Preview

Snowsight が以下の内容で更新されてました。

  • 新しいナビゲーション メニュー
  • 検索
  • クイックアクション
  • 最近表示したタブ

詳細は以下をご参照ください。

https://docs.snowflake.com/en/user-guide/ui-snowsight-homepage

Behavior Change Log

2024_06 バンドルが提供開始 ※デフォルトは無効化

8.27(2024/7/22 - 2024/7/25 リリース)で、2024_06 バンドルが提供開始となりました。先に挙動を確かめたい場合には手動でバンドルを有効化してテスト可能です。

このバンドルは、2024年8月のリリースでデフォルトで有効化される予定となっています。

https://docs.snowflake.com/en/release-notes/bcr-bundles/2024_06_bundle

2024_05 バンドルがデフォルトで有効化

8.27(2024/7/22 - 2024/7/25 リリース)で、2024_05 バンドルがデフォルトで有効化されました。このバンドルは、2024年8月のリリースで一般的に有効化される予定となっています。

https://docs.snowflake.com/en/release-notes/bcr-bundles/2024_05_bundle

2024_04 バンドルが一般的に有効化

8.27(2024/7/22 - 2024/7/25 リリース)で、2024_04 バンドルが一般的に有効化されました。

https://docs.snowflake.com/en/release-notes/bcr-bundles/2024_04_bundle

おまけ:Modern Data Stack全般の最新情報

Snowflakeも含め、Modern Data Stack 全般の最新情報についても、定期的にブログにまとめて投稿されています!こちらもぜひご覧ください。

https://dev.classmethod.jp/articles/modern-data-stack-info-summary-20240717/

https://dev.classmethod.jp/articles/modern-data-stack-info-summary-20240703/

Share this article

facebook logohatena logotwitter logo

© Classmethod, Inc. All rights reserved.